Giáo hoàng Julius III đã bị cáo buộc là có một chuyện tình dài với Innocenzo Ciocchi del Monte, một người đàn ông trẻ hơn Giáo hoàng 45 tuổi, xuất thân từ gia đình ăn xin. Đại sứ của Venetian tại thời điểm đó đã báo cáo rằng: Innocenzo đã cùng chung phòng chung giường của Giáo hoàng[2].

Theo từ điển Oxford về Giáo hoàng thì ông là "tự nhiên vô cảm, ông dâng hiến hết mình cho những cuộc vui thú vào những dịp đặc biệt của hoạt động tôn giáo"[3].

Ông qua đời vào ba năm sau ngày 23 tháng 3 năm 1555.